Ở thời hậu chiến, vị trí của Molotov dần suy giảm. Năm 1949, ông bị thay thế chức vụ Bộ trưởng ngoại giao bởi Andrey Vyshinsky, dù vẫn giữ được chức Phó thủ tướng và thành viên của Bộ chính trị. Sau cái chết của Andrei Zhdanov, người được coi là ứng cử viên kế vị Stalin, Stalin và Beria bắt đầu lên kế hoạch một kế hoạch mới, sẽ loại bỏ hầu hết các lãnh đạo cũ trong đảng như Molotov khỏi các chức vụ của họ, thay thế bằng các lãnh đạo mới trẻ hơn, như Georgii Malenkov và Nikita Khrushchev, được sự bảo trợ của Stalin.

Một dấu hiệu rõ ràng về tình trạng bấp bênh của Molotov là việc ông không thể ngăn cản việc bắt giữ bà vợ người Do Thái của mình, Polina Zhemchuzhina, vào tháng 12 năm 1948 vì tội "phản bội". Stalin từ lâu đã không tin tưởng bà. Bà được Beria thả ra ngay khi Stalin chết. Tại Đại hội lần thứ 19 của Đảng năm 1952, Molotov được bầu vào Đoàn chủ tịch mở rộng mới của Đảng Cộng sản nhưng bị gạt khỏi uỷ ban thường trực nhỏ hơn của Đoàn chủ tịch (dù điều này không được đưa ra công khai). Dường như cái chết của Stalin tháng 3 năm 1953 đã cứu Molotov thoát khỏi việc bị loại khỏi giới lãnh đạo Liên xô.

Sau khi Stalin chết, một cuộc tập hợp giới lãnh đạo xuất hiện, trong quá trình đó vị trí của Molotov lại được tăng cường. Beria đã bị bắt giữ và xử bắn vì tội danh lạm quyền, và Molotov giành lại chức Bộ trưởng ngoại giao dưới thời làm thủ tướng của Malenkov. Tuy nhiên, Tổng thư ký mới của Đảng, Khrushchev, nhanh chóng trở thành người cầm quyền thực sự của chế độ. Ông quản lý một chính sách đối ngoại đang dần tự do hoá bên trong và "tan băng" bên ngoài, thể hiện sự hoà giải với chính phủ Tito tại Nam Tư (vốn đã bị Stalin trục xuất khỏi phong trào cộng sản). Molotov, một người theo đường lối Stalin từ trước, dường như càng ngày càng bị gạt khỏi không khí chính trị mới, nhưng ông vẫn đại diện cho Liên xô với thái độ kiên quyết của mình tại Hội nghị Geneva năm 1955 bàn về an ninh châu Âu, tái thống nhất nước Đức và giải giáp.

Những sự kiện dẫn tới sự suy sụp của Molotov bắt đầu tháng 2 năm 1956 khi Khrushchev tung ra một chiến dịch lên án Stalin chưa từng có tại Đại hội Đảng lần thứ 20. Khrushchev đã tấn công Stalin cả về những sai lầm trong thập niên 1930 và những thất bại trong những năm đầu Thế chiến II, mà ông lên án thái độ tin tưởng quá mức của Stalin vào Hitler và những cuộc thanh trừng vào Hồng quân. Bởi Molotov là nhân vật hợp tác cấp cao nhất của Stalin vẫn còn sống và từng đóng vai trò thân cận với Stalin, mọi điều trở nên rõ ràng rằng việc Khrushchev lên án quá khứ có thể sẽ dẫn tới việc loại bỏ Molotov khỏi quyền lực. Sau đó ông trở thành lãnh đạo của phe "cũ" chống lại Khrushchev, dù việc ông thực tế có kế hoạch lật đổ Khrushchev hay không, như sau này nghi ngờ, vẫn còn chưa rõ ràng.

Tháng 6 năm 1956, Molotov bị gạt khỏi chức Bộ trưởng ngoại giao, và vào tháng 6 năm 1957 bị trục xuất khỏi Đoàn chủ tịch (Bộ chính trị) sau một nỗ lực thất bại nhằm loại bỏ Khrushchev khỏi chức Bí thư thứ nhất. Dù phái của Molotov ban đầu giành một chiến thắng trong cuộc bỏ phiếu ở Đoàn chủ tịch với kết quả 7-4 để yêu cầu Khrushchev từ chức, Khrushev đã từ chối từ chức từ khi phiên họp toàn thể của Uỷ ban Trung ương quyết định như vậy. Trong cuộc họp toàn thể, kéo dài từ ngày 22 đến ngày 29 tháng 6, Molotov và phái của ông đã bị đánh bại. Cuối cùng ông bị cử đi làm đại sứ tại Mông Cổ. Năm 1960, ông được chỉ định làm đại diện của Liên xô tại Cơ quan Năng lượng Nguyên tử Quốc tế, hành động được coi là sự khôi phục một phần. Tuy nhiên, sau Đại hội lần thứ 22 của Đảng năm 1961, trong đó Khrushchev đã thực hiện chương trình phi Stalin hoá của mình nhằm loại bỏ thi hài Stalin khỏi Lăng Lenin, Molotov bị loại bỏ khỏi mọi chức vụ và bị trục xuất khỏi Đảng Cộng sản. Tháng 3 năm 1962, có thông báo rằng Molotov đã nghỉ khỏi đời sống công cộng.

Khi nghỉ hưu, Molotov vẫn hoàn toàn không hối tiếc về vai trò của ông trong thời gian cầm quyền của Stalin. Sau cuộc chia rẽ Trung-Xô, có thông tin rằng ông đã đồng ý với những lời chỉ trích của Mao Trạch Đông về cái gọi là "chủ nghĩa xét lại" của các chính sách của Khrushchev. Theo Roy Medvedev, con gái của Stalin, Svetlana, nhớ rằng Molotov và vợ đã nói với bà: "Cha của cháu là một thiên tài. Ngày nay không còn tư tưởng cách mạng nữa, chỉ còn chủ nghĩa cơ hội ở khắp mọi nơi. Trung Quốc là hy vọng duy nhất của chúng ta! Chỉ họ còn giữ được tư tưởng cách mạng". Năm 1976, ông nói:

"Thực tế rằng chiến tranh hạt nhân có thể bùng phát, liệu đó không phải là cuộc đấu tranh giai cấp? Không có sự thay thế cho đấu tranh giai cấp. Đây là một câu hỏi rất nghiêm túc. Sự cùng sống và cùng chấm dứt không phải là cùng tồn tại hoà bình. Tóm lại, thỉnh thoảng chúng ta đã dừng lại trong một thời gian, và dưới thời Stalin chúng ta đã dừng lại ở điểm nơi những kẻ đế quốc cảm thấy có thể yêu cầu thẳng thừng: hoặc đầu hàng và từ bỏ các quan điểm, hoặc có nghĩa là chiến tranh. Tới nay những kẻ đế quốc vẫn chưa từ bỏ điều đó".

Molotov đã được khôi phục một phần dưới thời Leonid Brezhnev và được cho phép tái gia nhập Đảng Cộng sản năm 1984 dưới thời Konstantin Chernenko. Ông chết ở tuổi 96 tại Moskva tháng 11 năm 1986, chỉ năm năm trước sự giải tán Liên xô. Ở thời điểm qua đời, ông là người cuối cùng trong số những nhân vật chính tham gia các sự kiện năm 1917 còn sống. Ông được chôn cất tại Nghĩa trang Novodevichy, Moskva. Một tuyển tập các bài phỏng vấn với Molotov, "Molotov Remembers: Inside Kremlin Politics", đã được Felix Chuev xuất bản sau khi ông chết. Năm 2005 cháu trai của Molotov và là người trùng tên với ông, nhà khoa học chính trị Nga Vyacheslav Nikonov (sinh năm 1956), đã viết một cuốn tiểu sử của ông.

Cuối năm 1989, hai năm trước sự sụp đổ của Liên xô, Đại hội Đại biểu Nhân dân Liên xô và chính phủ của Mikhail Gorbachev đã chính thức lên án Hiệp ước Molotov-Ribbentrop, thừa nhận rằng việc sáp nhập các nước vùng Baltic và sự phân chia Ba Lan là bất hợp pháp.

Molotov là một trong số ít người, nếu không nói là người duy nhất từng bắt tay với các rất nhiều nguyên thủ quốc gia, bao gồm lãnh đạo Liên Xô Vladimir Lenin và Joseph Stalin, Chủ tịch Trung Quốc Mao Trạch Đông, lãnh đạo Đức Quốc xã Adolf Hitler, Thủ tướng Anh Winston Churchill và các Tổng thống Hoa Kỳ Franklin D. Roosevelt và Harry S. Truman cũng như Thủ tướng Anh Anthony Eden, Thủ tướng Liên Xô Nikita Khrushchev và Nguyên soái Josip B. Tito của Nam Tư.